Trạch Nhượng vốn là một quan nhỏ của triều Tùy ở Đông quận (東郡, nay gần tương ứng với An Dương, Hà Nam) song bị quan trên phán xử trảm. Viên cai ngục thấy Trạch Nhượng là hảo hán, thương cảm nên vào đêm tối đã phá xiềng xích, mở cửa nhà tù thả Trạch Nhượng ra. Trạch Nhượng thoát khỏi ngục, chạy đến trại Ngõa Cương (瓦崗) ở gần đó và tập hợp một số nông dân nghèo khổ, tổ chức một đội quân khởi nghĩa chống triều đình Tùy. Thanh niên trong khu vực đến theo rất nhiều, trong số đó có Đan Hùng Tín và Từ Thế Tích (mới 17 tuổi), họ đề xuất với ông rằng người dân trong khu vực đều rất nghèo, không nên cướp bóc của những người này để lấy lương thực cho binh sĩ, thay vào đó nên đến quận Huỳnh Dương (滎陽, nay gần tương ứng với Trịnh Châu, Hà Nam) có nhiều nhà giàu có. Trạch Nhượng nghe theo, cho quân đến Huỳnh Dương, cướp bóc của phú thương, đoạt được nhiều tài sản. Ngày càng có thêm những người tuyệt vọng gia nhập vào Ngõa Cương quân, nâng tổng quân số lên hơn một vạn.